พ.ศ. 2491 อุสมานไปก่อคดีวิวาทที่โรงฝิ่น จึงเป็นที่รู้กันว่าอุสมานติดฝิ่นอีกอย่างหนึ่ง เขาฝืนสังขารกลับมาชกอีกเมื่อ พ.ศ. 2501 แต่ไม่สำเร็จ หลังจากนั้นไม่นาน ถูกจับด้วยคดีเฮโรอีน ติดคุก 4 ปี เมื่อพ้นโทษ พยายามกลับมาชกอีกแต่ไม่สำเร็จอีกเช่นเคย จนต้องเลิกชกมวยไปโดยปริยาย ต่อมา พ.ศ. 2506 อุสมานถูกจับด้วยคดีเสพเฮโรอีนอีกครั้ง ถูกศาลตัดสินจำคุก เขาเสียชีวิตด้วยอาการลงแดงเนื่องจากติดเฮโรอีนอย่างหนัก เมื่อ พ.ศ. 2507 ขณะยังอยูในคุก รวมอายุได้ 33 ปี